We present Second Thought, a new learning paradigm that enables language models (LMs) to re-align with human values. By modeling the chain-of-edits between value-unaligned and value-aligned text, with LM fine-tuning and additional refinement through reinforcement learning, Second Thought not only achieves superior performance in three value alignment benchmark datasets but also shows strong human-value transfer learning ability in few-shot scenarios. The generated editing steps also offer better interpretability and ease for interactive error correction. Extensive human evaluations further confirm its effectiveness.
translated by 谷歌翻译
The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.
translated by 谷歌翻译
Evaluating neural network performance is critical to deep neural network design but a costly procedure. Neural predictors provide an efficient solution by treating architectures as samples and learning to estimate their performance on a given task. However, existing predictors are task-dependent, predominantly estimating neural network performance on image classification benchmarks. They are also search-space dependent; each predictor is designed to make predictions for a specific architecture search space with predefined topologies and set of operations. In this paper, we propose a novel All-in-One Predictor (AIO-P), which aims to pretrain neural predictors on architecture examples from multiple, separate computer vision (CV) task domains and multiple architecture spaces, and then transfer to unseen downstream CV tasks or neural architectures. We describe our proposed techniques for general graph representation, efficient predictor pretraining and knowledge infusion techniques, as well as methods to transfer to downstream tasks/spaces. Extensive experimental results show that AIO-P can achieve Mean Absolute Error (MAE) and Spearman's Rank Correlation (SRCC) below 1% and above 0.5, respectively, on a breadth of target downstream CV tasks with or without fine-tuning, outperforming a number of baselines. Moreover, AIO-P can directly transfer to new architectures not seen during training, accurately rank them and serve as an effective performance estimator when paired with an algorithm designed to preserve performance while reducing FLOPs.
translated by 谷歌翻译
ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列,该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战,这是由于探测器的几何形状,不均匀的散射和冰中光的吸收,并且低于100 GEV的光,每个事件产生的信号光子数量相对较少。为了应对这一挑战,可以将ICECUBE事件表示为点云图形,并将图形神经网络(GNN)作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开,对不同的中微子事件类型进行分类,并重建沉积的能量,方向和相互作用顶点。基于仿真,我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术,包括已知系统不确定性的影响。对于中微子事件分类,与当前的IceCube方法相比,GNN以固定的假阳性速率(FPR)提高了信号效率的18%。另外,GNN在固定信号效率下将FPR的降低超过8(低于半百分比)。对于能源,方向和相互作用顶点的重建,与当前最大似然技术相比,分辨率平均提高了13%-20%。当在GPU上运行时,GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件,这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。
translated by 谷歌翻译
基于微服务的体系结构已成为云原生应用程序的普遍存在。每天利用越来越多的应用程序在云平台上部署的应用程序,需要进行更多的研究工作,以了解如何应用不同的策略来有效地管理各种云资源。大量研究已使用反应性和主动自动化策略部署了自动资源分配算法。但是,当前算法的效率仍然存在差距,例如从其体系结构和部署环境中捕获微服务的重要特征,例如,缺乏对图形依赖性的考虑。为了应对这一挑战,我们提出了Graph-PHPA,这是一种基于图的主动水平POD自动级别自动化策略,用于将云资源分配给微服务,以利用长期短期记忆(LSTM)和基于图形神经网络(GNN)的预测方法。我们使用BookInfo微服务在专用的测试环境中使用基于现实数据集生成的实时工作负载来评估图形phpa的性能。我们通过将图形PHPA与Kubernetes中基于规则的资源分配方案进行比较来证明了图形phpa的疗效。已经实施了广泛的实验,我们的结果说明了我们在不同测试方案中提出的资源节省方法优于基于反应性规则的基线算法的优势。
translated by 谷歌翻译
这项工作的目的是探索如何有效有效地将预训练的基础模型适应图像语义分割的各种下游任务。常规方法通常为每个特定数据集微调整个网络,并且存储这些网络的大量参数是繁重的。最近的一些作品试图将一些可训练的参数插入冷冻网络中,以学习有效调整的视觉提示。但是,这些作品显着修改了标准模块的原始结构,使其在许多现有的高速推理设备上无法使用,其中标准模块及其参数已嵌入。为了促进基于及时的语义细分,我们提出了一个新颖的阶段间及时匹配的框架,该框架保持基础模型的原始结构,同时自适应地生成视觉提示,以适应以任务为导向的调整。具体而言,首先将预训练的模型分为多个阶段,其参数被冷冻并共享所有语义分割任务。然后将称为语义意识的提示匹配器的轻巧模块在两个阶段之间介绍给层次上的插值,以在临时语义图的指导下学习每个特定任务的合理提示。这样,我们可以更好地刺激对冷冻模型的预训练的知识,以有效地学习下游数据集的语义概念。在五个基准上进行的广泛实验表明,所提出的方法可以实现参数效率和性能效率之间的有希望的权衡。
translated by 谷歌翻译
现实世界中的数据通常显示出长尾巴的开放式(带有看不见的类)分布。实践识别系统必须在多数(头)和少数族裔(尾巴)阶级之间取得平衡,在整个分布中进行概括,并承认新颖的阶级(公开阶级)。我们将开放的长尾识别++(OLTR ++)定义为从这种自然分布的数据中学习,并优化了包括已知和开放类的平衡测试集的分类精度。 OLTR ++在一种集成算法中处理不平衡的分类,很少的学习,开放式识别和积极学习,而现有的分类方法通常仅着眼于一个或两个方面,并且在整个频谱中交付不佳。关键挑战是:1)如何在头和尾巴之间共享视觉知识,2)如何减少尾巴和开放式阶级之间的混淆,以及3)如何用学习知识积极地探索开放的课程。我们的算法OLTR ++将图像映射到特征空间,以便视觉概念可以通过记忆关联机制和学识渊博的指标(动态元元素)相互关联,这两者都尊重所封闭的见解类别的封闭世界分类并承认的新颖性打开课程。此外,我们提出了一个基于视觉记忆的主动学习方案,该方案学会以数据效率的方式识别未来扩展的开放类。在三个大规模开放的长尾数据集中,我们从Imagenet(以对象为中心),位置(以场景为中心)和MS1M(面部为中心)数据策划了三个标准基准(CIFAR-10-LT,CIFAR,CIFAR,CIFAR) -100-LT和Inaturalist-18),我们作为统一框架的方法始终展示竞争性能。值得注意的是,我们的方法还显示出积极探索开放阶级和对少数群体的公平分析的强大潜力。
translated by 谷歌翻译
新兴的六代(6G)是异质无线网络的集成,它们可以在任何地方和任何时间网络中无缝支持。但是,6G应提供高质量的信任,以满足移动用户的期望。人工智能(AI)被认为是6G中最重要的组成部分之一。然后,基于AI的信任管理是提供可信赖和可靠的服务的有希望的范式。在本文中,为6G无线网络提供了一种生成的对抗性学习信任管理方法。首先审查了一些基于AI的典型信任管理方案,然后引入了潜在的异质和智能6G架构。接下来,开发了AI和信任管理的集成以优化情报和安全性。最后,提出的基于AI的信任管理方法用于确保聚类以实现可靠和实时的通信。仿真结果表明了其在保证网络安全和服务质量方面的出色性能。
translated by 谷歌翻译
由于独特的特征和约束,可信赖和可靠的数据传输是无线传感器网络(WSN)的一项艰巨任务。为了获取安全的数据传输并解决安全性和能源之间的冲突,在本文中,我们提出了一种基于进化游戏的安全聚类协议,具有模糊信任评估和WSN的离群检测。首先,提出了一种模糊的信任评估方法,以将传输证据转化为信任价值,同时有效地减轻了信任的不确定性。然后,提出了基于K-均值的离群检测方案,以进一步分析通过模糊信任评估或信任建议获得的大量信任值。它可以发现传感器节点之间的共同点和差异,同时提高异常检测的准确性。最后,我们提出了一种基于进化游戏的安全群集协议,以在选举群集头时进行安全保证和节能节能节省之间的权衡。失败的传感器节点可以通过隔离可疑节点来安全地选择自己的头部。仿真结果验证了我们的安全聚类协议可以有效地捍卫网络免受内部自私或折衷节点的攻击。相应地,及时的数据传输速率可以显着提高。
translated by 谷歌翻译
安全是工业无线传感器网络(IWSN)的主要问题之一。为了确保群集IWSN中的安全性,本文通过模糊信任评估和离群值检测(SCFTO)提出了一个安全的聚类协议(SCFTO)。首先,为了处理开放无线介质中的传输不确定性,采用间隔2型模糊逻辑控制器来估计信托。然后引入了基于密度的离群检测机制,以获取用于隔离群集头的自适应信任阈值。最后,提出了一种基于模糊的集群头选举方法,以在节能和安全保证之间达到平衡,以便具有更多残留能量或对其他节点置信度更高的正常传感器节点具有更高的概率,使其成为群集头。广泛的实验验证我们的安全聚类协议可以有效地捍卫网络免受内部恶意或受损节点的攻击。
translated by 谷歌翻译